Een eerste kerk werd vermoedelijk eind 10de of begin 11de eeuw gebouwd bij een handelsnederzetting.
Ze werd ingeplant bij de buitenbocht van de pas tussen 1963 en 1970 gedempte Scheldekronkel aan de Smallendam-Meerspoort.
Deze kerk werd de Onze-Lieve-Vrouw ter Kauwen genoemd, wellicht naar de kauwen of kraaien die zich in de toren nestelden.